Józef Chełmoński sinh tại Boczki, lân cận Łowicz, ở miền trung Vương quốc Lập hiến Ba Lan dưới sự kiểm soát của quân đội Nga. Người thầy dạy vẽ đầu tiên của ông là cha ông, một địa chủ nhỏ và một nhà cầm quyền của làng Boczki. Sau khi học xong cấp ba ở Warsaw, Józef Chełmoński theo học Lớp Hội họa Warsaw (1867–1871) và trở thành học trò học kèm riêng của Wojciech Gerson. Trong các năm 1871-1874, ông sống ở Munich. Ông kết giao với các họa sĩ người Ba Lan có quan hệ với Jozef Brandt và Maksymilian Gierymski. Tại đây, Józef Chełmoński cũng học vài tháng tại học viện của H. Anschutz và A. Strahuber. Năm 1872 và 1874, ông du lịch đến Núi Tatra và Ukraine.

Những tác phẩm tranh đầu tiên của Józef Chełmoński chịu nhiều ảnh hưởng từ phong cách của Wojciech Gerson. Chủ đề trong các tác phẩm tiếp theo ông là phong cảnh và làng mạc. Năm 1875, ông đến Paris và tổ chức nhiều triển lãm quan trọng. Nhờ đó, Józef Chełmoński được giới nghệ thuật biết đến. Do có nhiều đơn đặt hàng, trình độ nghệ thuật của ông giảm sút.

Từ năm 1878 đến năm 1887, Józef Chełmoński đến Ba Lan, Vienna và Venice. Năm 1887, ông trở lại Ba Lan và từ năm 1889 định cư tại làng Kuklówka Zarzeczna. Nét nổi bật trong các tác phẩm tranh của ông là tình yêu quê hương và tình yêu thiên nhiên. Những bức tranh được yêu thích nhất của ông là Đàn chim đa đa trong tuyết, Đàn cò và Trước giông bão.

Józef Chełmoński là người đại diện cho xu hướng nghệ thuật được gọi là "Mỹ thuật yêu nước Ba Lan". Ông mất vào năm 1914 tại Kuklówka, lân cận Grodzisk Mazowiecki.